CloudWatch EventsとLambdaでDynamoDBのテーブルを定期作成する
こんにちは、菊池です。
やりたいこと
DynamoDBのテーブルを月ごとに分けて利用している環境で、以下のオペレーションを定期的に自動で実行したいというケースを想定しています。
- 前月のテーブルのRCU/WCUを下げる
- 翌月のテーブルを作成する
DynamoDBではテーブルが存在するだけで、割り当てたRCU/WCU分の利用料が発生します。新しいテーブルは必要になるタイミングで作成し、古くなってアクセス頻度が減ったテーブルは割り当てるRCU/WCUを小さくすることでコストを抑えることができます。
上記のオペレーションを実行するLambda関数を作成し、CloudWatch Eventsで自動実行することで、この要件を実現します。
環境構築
テーブル自動作成
まずはテーブルを定期的に作成する環境です。
Lambda関数の作成
DynamoDBのテーブルを新規に作る関数を作成します。
トリガーは後から設定しますので、何もせず次に進みます。
関数名を入力し、ランタイムはPython 3.6にしました。
以下のコードをPython 3.6のランタイムで作成します。実行日時の10日後の年月でtable_yyyymmという名称のテーブルを作成するコードです。同名のテーブルが存在する場合には何もしません。
import boto3
import datetime
def lambda_handler(event, context):
dynamodb = boto3.client('dynamodb')
WCU = event['wcu']
RCU = event['rcu']
now = datetime.datetime.now()
next_month = now + datetime.timedelta(days=10)
new_table_name = "table_" + next_month.strftime("%Y%m")
tables = dynamodb.list_tables()['TableNames']
if new_table_name not in tables:
newtable = dynamodb.create_table(
AttributeDefinitions=[
{
'AttributeName': 'id',
'AttributeType': 'S'
}
],
TableName = new_table_name,
KeySchema=[
{
'AttributeName': 'id',
'KeyType': 'HASH'
}
],
ProvisionedThroughput={
'ReadCapacityUnits': RCU,
'WriteCapacityUnits': WCU
}
)
print("New table is created.")
else:
print("New table is already exist.")
return 0
続いて、IAMロールの選択です。あらかじめ作成していなければ、新規に作成します。
利用するIAMロールには、AmazonDynamoDBFullAccessの管理ポリシーをアタッチしておきます。
関数ができたら、テストイベントを入力してテストしてみます。JSONで指定したwcu、rcuの値でテーブルが作成されます。
{
"wcu": 5,
"rcu": 5
}
実行して成功すれば、テーブルが作成されているはずです。テーブル名は、table_yyyymmとなります。今回のコードでは実行日+10日の月で作成されますので、実行タイミングに合わせて調整しましょう。
CloudWatch Eventsの設定
続いて、定期実行させるためのイベントを作成します。CloudWatchから、[イベント]-[ルールの作成]を選びます。
イベントソースに、[スケージュール]、[Cron式]を選択します。今回は毎月25日の日本時間9時に実行したいので、0 0 25 * ? *と入力します。設定パターンはこちらを参照ください。イベントターゲットは、作成したLambda関数を選択し、入力にwcu、rcuの値を指定するJSONを設定します。
イベントルール名を指定し、作成します。
WCU/RCUの自動変更
続いて、古くなったテーブルのキャパシティを変更する関数を作成します。
Lambda関数
同様に、Python3.6の関数を作成します。table_yyyymmという名称のテーブルのRCU/WCUを指定した値に変更するコードです。yyyymmは実行日の10日前の年月になりますので、実行タイミングによって調整しましょう。対象のテーブルが存在しない場合には何もしません。
import boto3
import datetime
def lambda_handler(event, context):
dynamodb = boto3.client('dynamodb')
TARGET_WCU = event['decreace_target_wcu']
TARGET_RCU = event['decreace_target_rcu']
now = datetime.datetime.now()
last_month = now - datetime.timedelta(days=10)
old_table_name = "table_" + last_month.strftime("%Y%m")
tables = dynamodb.list_tables()['TableNames']
if old_table_name in tables:
old_table = dynamodb.describe_table(
TableName=old_table_name
)
wcu = old_table['Table']['ProvisionedThroughput']['WriteCapacityUnits']
rcu = old_table['Table']['ProvisionedThroughput']['ReadCapacityUnits']
if rcu == TARGET_RCU and wcu == TARGET_WCU:
print("Old table is not modified.")
else:
modify = dynamodb.update_table(
TableName= old_table_name,
ProvisionedThroughput={
'ReadCapacityUnits': TARGET_RCU,
'WriteCapacityUnits': TARGET_WCU
}
)
print("Old table CU is modified.")
else:
print("Old table is not exist.")
return 0
テストイベントで、設定するwcu/rcuを指定し、テストしてみましょう。
{
"decreace_target_wcu": 5,
"decreace_target_rcu": 5
}
CloudWatch Eventsの設定
続いて、定期実行させるためのイベントを作成します。先程と同様に、CloudWatchから、[イベント]-[ルールの作成]を選びます。
設定の方法は同じです。こちらは毎月5日の日本時間9時に実行しますので、0 0 5 * ? *と入力します。ターゲットのLambda関数と入力のJSONを設定します。
以上で環境が準備できました。それぞれ、CloudWatch Eventsで指定した日時になれば実行されます。
最後に
以上です。
定期的に実行するオペレーションは、Lambda + CloudWatch Eventsを使うことで自動化することができます。
なお、今回紹介した構成はあくまでサンプルですので、運用環境に適用する際には、エラー発生時の検知や、対応方法も併せて検討しましょう。
